Er besuchte die Grundschulen in Basel und studierte dann Mathematik in Zürich und wurde Assistent bei Otto Wilhelm Fiedler. 1902 doktorierte er an der Universität Zürich mit einer Arbeit mit dem Titel "Über die metrischen Merkmalen kollinearer Gebilde" (Frauenfeld, Huber, 1902, Umfang 27 Seiten + 3 Blätter, Diss. Univ. Zürich). Von 1901 bis 1905 war er Lehrer in Frauenfeld und später in Basel. 1907 wird er Professor für darstellende Geometrie und Geometrie der Lage an der ETH, was er auch bis 1927 bleibt.

Albert Einstein war Studienkollege von Grossmann. Einstein wandte sich stets wieder mit mathematischen Fragestellungen an ihn und die beiden veröffentlichten auch einige Arbeiten zusammen, so z. B. "Entwurf einer verallgemeinerten Relativitätstheorie und einer Theorie der Gravitation : I. Physikalischer Teil von Albert Einstein - II. Mathematischer Teil von Marcel Grossmann" (Leipzig, Berlin, B.G. Teubner, 1913).